Het kasteel van Poeke maakte in de Middeleeuwen deel uit van het verdedigingsbolwerk rond Gent en was diverse keren een speelbal in conflicten.
In 1597 kwam de heerlijkheid van Poeke in het handen van de familie de Preudhomme d'Hailly die in het bezit bleef van het kasteel tot 1872. In de 17de eeuw werd het kasteel verbouwd door de familie de Preudhomme d‘Hailly, de zeshoekige waterburcht kreeg een rechthoekige vorm met twee zijvleugels. Vermoedelijk dateren de funderingen en de vier hoektorens van het huidige kasteel uit die periode, eventueel met behoud van enkele oudere torens.
In 1872 kocht baron Victor Pycke de Peteghem het kasteel en de landerijen. Een jaar later startten grote verbouwingen. De plannen werden getekend door de Brusselse architect de Limbourg. Van het oorspronkelijke 18de eeuwse kasteel bleven alleen het grondplan, de vier torens en enkele details authentiek.
De laatste afstammeling, barones en burgemeester Ines Pycke de Peteghem was de laatste die het kasteel van Poeke bezat en bewoonde. Bij testament schonk de barones in 1951 het volledige domein aan het Nationaal Werk der Katholieke Schoolkolonies. In 1977 werd het kasteel, samen met het omliggend park, eigendom van de gemeente Aalter.